HCGRec: Hint-Conditioned Generative Recommendation with Semantic IDs
带提示条件的语义 ID 生成式推荐
🧭 生成式推荐 · Semantic ID RL 后训练 ★ 深度解读
Shanghai Jiao Tong University · Meituan
用训练期 target-prefix hint 恢复被 GRPO 零奖励样本淹没的生成式推荐信号，将零优势组从超 70% 降至 20% 以下
📌 工作参考价值（4 点）
- 在生成式推荐 RL 后训练中，监控 rollout 组 reward variance=0 的比例；该比例超过一半意味着 GRPO 更新基本无效。论文中的 unhinted baseline 在训练后期仍有 55%–63% 的零梯度组，提示这是线上生成式推荐模型的常见隐性瓶颈。
- 对 hard cases 使用训练期 target-prefix hint：离线用 SFT checkpoint 做 reachability diagnosis，只对无法在有限 rollout 内命中目标 Semantic ID 的样本提供最短前缀提示，让模型只生成 suffix。推理时不使用 hint，部署接口不变；这套思路可以直接迁移到电商 Semantic ID 生成推荐的 RL 微调阶段。
- 损失函数按 token 来源拆分：hinted prefix 是 oracle-provided context，用 SFT 前缀锚定损失保持语义对齐；suffix 是模型实际动作，用 GRPO 做策略优化。避免全序列统一 SFT+GRPO 带来的监督-策略冲突。
- 离线最小 hint 比动态 hint 更稳定且 rollouts 成本更低：可以一次性缓存每个训练样本的 hint length，训练中固定，减少训练目标漂移，业务上容易落地。